本文确定了贝叶斯深度学习中近似MCMC的几个特征。它提出了针对神经网络的近似采样算法。通过类似于从大数据集中采样数据批次，提出了从高维的神经网络参数空间中采样参数子组。尽管在文献中已经讨论了Minibatch MCMC的优势，但阻止的Gibbs抽样在贝叶斯深度学习中受到了研究的关注。
translated by 谷歌翻译
本文有两项贡献。首先，它引入了混合的组成核和混合神经网络高斯过程（NGGP）。混合的成分核由概率产生功能的组成产生（PGF）。混合的NNGP是具有混合成分内核的高斯工艺（GP），其在多层感知（MLP）的无限宽度极限中产生，所述多层感知孔（MLP）对于每层具有不同的激活功能。其次，通过构建分支过程理论来引入神经网络和$ \ Theta $ Compental核的$ \ Theta $ Commentation核心，更具体地介绍$ \ theta $ pgfs。虽然$ \ theta $ comanicalal内核是递归的，但它们以封闭形式表示。结果显示，在某些条件下，$ \ Theta $ Comedyal内核具有非退化的渐近性质。因此，具有$ \ Theta $ Comedyal内核的GPS不需要非显式递归内核评估，并且具有可控的无限深度渐近性质。一个开放的研究问题是GPS是否具有$ \ THETA $ CONSTECNAL内核的无限宽的MLP的限制，具有$ \ THETA $激活功能。
translated by 谷歌翻译
拓扑数据分析（TDA）研究数据的形状模式。持续同源性（pH）是TDA中广泛使用的方法，其总结了多个尺度的数据的同源特征，并将它们存储在持久图（PDS）中。在本文中，我们提出了一种随机持久性图（RPDG）方法，其生成从数据产生的那些随机PDS序列。RPDG由（i）基于对持久性图推断的成对交互点处理的模型，并通过可逆跳转马克可蒙特卡罗（RJ-MCMC）算法来生成PDS样本。基于合成数据集的第一示例演示了RPDG的功效，并提供了与用于采样PDS的其他现有方法的详细比较。第二个例子演示了RPDG求解材料科学问题的效用，给出了小样本大小的真实数据集。
translated by 谷歌翻译
在这项工作中，我们研究了在回归设置中训练浅神经网络时捍卫抗数据量攻击的可能性。我们专注于为一类Depth-2有限宽度神经网络进行监督学习，其中包括单滤波器卷积网络。在这类网络中，我们尝试在训练过程中真实输出的随机，有限和加性对抗性扭曲的情况下，在存在恶意的甲骨文的情况下学习网络权重。对于我们构建的非梯度随机算法，我们证明了对抗性攻击的大小，重量近似准确性以及所提出算法所达到的置信度最差的近距离权衡。当我们的算法使用迷你批次时，我们分析了微型批量大小如何影响收敛。我们还展示了如何利用外层权重的缩放缩放来根据攻击的概率来对抗输出毒作攻击。最后，我们提供实验证据，证明我们的算法在不同的输入数据分布（包括重型分布的实例）下如何优于随机梯度下降。
translated by 谷歌翻译
2022-09-22
图形神经网络（GNNS）已被广泛用于许多域，在这些领域中，数据被表示为图，包括社交网络，推荐系统，生物学，化学等。最近，GNNS的表现力引起了人们的兴趣。已经表明，尽管GNNS在许多应用中取得了有希望的经验结果，但GNN中存在一些局限性，阻碍了他们对某些任务的绩效。例如，由于GNNS更新节点功能主要基于本地信息，因此它们在捕获图中节点之间的长距离依赖性方面具有有限的表达能力。为了解决GNN的一些局限性，最近的几项工作开始探索增强的GNN，并记忆以提高其在相关任务中的表现力。在本文中，我们对现有的记忆启发性GNN的现有文献进行了全面综述。我们通过心理学和神经科学的角度回顾了这些作品，后者已经在生物学大脑中建立了多种记忆系统和机制。我们提出了记忆GNN作品的分类法，以及比较记忆机制的一组标准。我们还提供有关这些作品局限性的重要讨论。最后，我们讨论了该领域的挑战和未来方向。
translated by 谷歌翻译
基于自我监督的基于学习的预科可以使用小标签的数据集开发可靠和广义的深度学习模型，从而减轻了标签生成的负担。本文旨在评估基于CL的预处理对可转介的性能与非转介糖尿病性视网膜病（DR）分类的影响。我们已经开发了一个基于CL的框架，具有神经风格转移（NST）增强，以生成具有更好表示和初始化的模型，以检测颜色底面图像中的DR。我们将CL预估计的模型性能与用成像网权重预测的两个最先进的基线模型进行了比较。我们通过减少标记的训练数据（降至10％）进一步研究模型性能，以测试使用小标签数据集训练模型的鲁棒性。该模型在EYEPACS数据集上进行了培训和验证，并根据芝加哥伊利诺伊大学（UIC）的临床数据进行了独立测试。与基线模型相比，我们的CL预处理的基础网模型具有更高的AUC（CI）值（0.91（0.898至0.930），在UIC数据上为0.80（0.783至0.820）和0.83（0.783至0.820）（0.801至0.853）。在10％标记的培训数据时，在UIC数据集上测试时，基线模型中的FoldusNet AUC为0.81（0.78至0.84），比0.58（0.56至0.64）和0.63（0.56至0.64）和0.63（0.60至0.66）。基于CL的NST预处理可显着提高DL分类性能，帮助模型良好（可从Eyepacs转移到UIC数据），并允许使用小的带注释的数据集进行培训，从而减少临床医生的地面真相注释负担。
translated by 谷歌翻译
从我们生命的最早几年开始，人类使用语言来表达我们的信念和欲望。因此，能够与人造代理讨论我们的偏好将实现价值一致性的核心目标。然而，今天，我们缺乏解释这种灵活和抽象语言使用的计算模型。为了应对这一挑战，我们考虑在线性强盗环境中考虑社会学习，并询问人类如何传达与行为的偏好（即奖励功能）。我们研究两种不同类型的语言：指令，提供有关所需政策的信息和描述，这些信息提供了有关奖励功能的信息。为了解释人类如何使用这些形式的语言，我们建议他们推理出已知和未知的未来状态：对当前的说明优化，同时描述对未来进行了推广。我们通过扩展奖励设计来考虑对国家的分配来形式化此选择。然后，我们定义了一种务实的听众，该代理人通过推理说话者如何表达自己来侵犯说话者的奖励功能。我们通过行为实验来验证我们的模型，表明（1）我们的说话者模型预测了自发的人类行为，并且（2）我们的务实的听众能够恢复其奖励功能。最后，我们表明，在传统的强化学习环境中，务实的社会学习可以与个人学习相结合并加速。我们的发现表明，从更广泛的语言中的社会学习，特别是，扩大了该领域的目前对指示的关注，以包括从描述中学习 - 是一种有前途的价值一致性和强化学习的有前途的方法。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
多模式培训的最新进展使用文本描述，可以显着增强机器对图像和视频的理解。然而，目前尚不清楚语言在多大程度上可以完全捕捉不同方式的感官体验。一种表征感官体验的良好方法取决于相似性判断，即人们认为两个截然不同的刺激是相似的程度。我们在一系列大规模的行为研究（$ n = 1,823美元的参与者）中探讨了人类相似性判断与语言之间的关系，这三种模式（图像，音频和视频）和两种类型的文本描述符：简单的文字描述符： - 文本字幕。在此过程中，我们引入了一条新型的自适应管道，用于标签挖掘，既有高效又是领域。我们表明，基于文本描述符的预测管道表现出色，我们将其与基于视觉，音频和视频处理体系结构的611基线模型进行了比较。我们进一步表明，文本描述符和模型在多种方式之间和模型之间预测人类相似性的程度各不相同。综上所述，这些研究说明了整合机器学习和认知科学方法的价值，以更好地了解人类和机器表示之间的相似性和差异。我们在https://words-are-are-all-you-need.s3.amazonaws.com/index.html上介绍了交互式可视化，以探索人类所经历的刺激和本文中报道的不同方法之间的相似性。
translated by 谷歌翻译
Multi-robot systems face challenges in reducing human interventions as they are often deployed in dangerous environments. It is therefore necessary to include a methodology to assess robot failure rates to reduce the requirement for costly human intervention. A solution to this problem includes robots with the ability to work together to ensure mission resilience. To prevent this intervention, robots should be able to work together to ensure mission resilience. However, robotic platforms generally lack built-in interconnectivity with other platforms from different vendors. This work aims to tackle this issue by enabling the functionality through a bidirectional digital twin. The twin enables the human operator to transmit and receive information to and from the multi-robot fleet. This digital twin considers mission resilience and autonomous and human-led decision making to enable the resilience of a multi-robot fleet. This creates the cooperation, corroboration, and collaboration of diverse robots to leverage the capability of robots and support recovery of a failed robot.
translated by 谷歌翻译